ASCENT：通过验证经验自蒸馏实现在线测试时训练长程智能体
🧭 Agent 在线测试时训练 · 自我蒸馏验证经验 ★ 深度解读
University of New South Wales (UNSW Sydney)
用冻结初始模型将验证成功的轨迹蒸馏为 LoRA 软目标，使长程 Agent 在单次任务流中稳定在线进化
📌 工作参考价值（4 点）
- 在线学习方案：在对话式导购/客服/智能投放等长程 Agent 场景，可以用冻结 base 模型 + LoRA 快权重持续训练。每次成功会话（成交/点击等强验证）做一次自蒸馏，失败跳过更新，无需 replay buffer，工程成本低。
- 特权信息构造：将成功会话的动作有效部分（排除 parse 失败或环境未执行的动作）与推理文本保留，去掉 observation（按模型规模调整），作为 teacher 的 hindsight 上下文。教师看到完整成功轨迹后产生全词表 soft target，学生只在当前 prefix 学习，可减少冗余 detour 动作、提升 turns 效率。
- 蒸馏目标选择：用 forward KL 匹配全词表分布，而不是最大化生成 token 概率或 REINFORCE 梯度；这能抑制策略对自身输出的过拟合，避免熵崩溃和无效动作增加，尤其适合单条轨迹在线流。
- 与 in-context memory 互补：小模型可能被检索记忆干扰，可单独用权重更新；大模型可以叠加 retrieved memory 与 ASCENT 权重，形成 co-evolution。动作有效性过滤可免费从环境响应中解析得到，可作为轨迹清洗信号。
激活记忆与参数记忆在小样本学习中的互补作用
🧭 LLM记忆机制与测试时训练
Northeastern University, Shenyang, China · NiuTrans Research, Shenyang, China
系统比较LLM中激活记忆与参数记忆的差异，发现事实回忆靠激活记忆，复合任务需二者协同
📌 工作参考价值（4 点）
- 在电商/Agent 的上下文管理中，事实性信息（如商品属性、历史订单）放进 KV cache 或 prompt 即可稳定回忆，不必为此做在线参数更新。
- 对需要“先查事实再执行新规则”的复合任务（如促销规则叠加用户偏好），仅靠 ICL 或仅靠微调都不够，架构上应同时保留激活记忆和轻量参数更新两条路径。
- 神经元分析表明两类记忆激活不同神经元群：模型可解释性排查时，可判断失败原因是上下文丢失还是参数适应不足，再针对性修复。
- 整体为机制研究，业务可借鉴点有限，但可作为混合记忆设计（RAG + 测试时训练）的理论依据。
全局蒸馏、局部适配：面向可扩展升级推荐的推理蒸馏与产品类型测试时训练
🧭 LLM知识蒸馏与测试时适配用于商品关系推荐 ★ 深度解读
Amazon Everyday Essentials Technologies
将LLM推理蒸馏成轻量embedding对分类器，并用商品类型级测试时训练进一步适配，实现无LLM推理的高效升级推荐
📌 工作参考价值（4 点）
- 离线蒸馏替代在线LLM：在电商catalog级商品关系判定中，用LLM离线生成标注+理由，蒸馏到15.5M参数embedding-pair分类器，推理仅需两个预计算768维向量，速度提升5000倍，成本降低10000倍。该方法可直接迁移到商品替代/互补关系、query-商品匹配等大规模打分任务。
- 保留细粒度标签比二分更有效：蒸馏时保留LLM的四分类（similar、反向升级、升级、不相关）标签比合并成二分类更能让rationale监督发挥作用（AUC 0.912→0.924 vs 0.911→0.911）。在业务中若关系本身有方向或等级，不要为了简化而合并类别。
- 按品类/商品类型做轻量测试时适配：每个product-type用少量专家标注support set（K=32）微调LoRA adapter，比全局统一adapter提升更显著（AUC 0.940 vs 0.929），而且推理成本不变。适合新品冷启动或品类间标准差异大的场景。
- Support set复用降低标注成本：同一批专家标注示例既作为LLM的few-shot演示，又作为测试时训练的梯度监督，最大化样本利用率。工程实现时可将此设计为统一的数据pipeline。
测试时策略优化：非对称蒸馏与GRPO的无标签推理提升
🧭 测试时训练 · 非对称蒸馏与RL ★ 深度解读
Zhejiang University · Alibaba Group
多数投票伪标签下，正样本蒸馏、负样本GRPO惩罚，配合token级选择，无标签测试时训练匹配有监督OPSD
📌 工作参考价值（4 点）
- 无标签或延迟反馈的业务场景（如搜索/推荐结果的多步解释、Agent 任务完成率）可用模型自身多数投票/一致性产生伪标签；关键是不要直接蒸馏伪标签，而是对“与多数不一致”的样本做 RL 惩罚，这比正向模仿伪标签更抗噪声。
- 多步 Agent 或生成式推荐做 test-time fine-tune 时，正样本用蒸馏、负样本用 RL 惩罚，并且只对负样本中 confident errors（低概率低熵）施加梯度，避免惩罚正确的中间步骤；正样本按 step 重要度加权，降低已收敛位置的权重。
- 工程 trick：RL loss 需要加权重（约 0.1）平衡蒸馏 loss 的量级；固定正负样本 1:1 比动态比例更稳定；选择最短完整轨迹进入梯度更新窗口，可避免关键决策步骤落在梯度窗口外。
- 若业务有“答案可验证但无真值”的场景，优先用多数投票路由而不是 ground-truth 路由：困难样本上 GT 路由可能正样本为空导致训练信号消失，多数投票保证两个分支活跃，形成自我进化。
重新思考 Test-Time Training 中的表达力与效率
🧭 高效长上下文 Test-Time Training
Karlsruhe Institute of Technology (KIT) · National University of Singapore · Fraunhofer IOSB · Lamarr Institute for Machine Learning and Artificial Intelligence · University of Bonn
提出 E²-TTT，通过闭式状态转移并行化分块 TTT 训练，在保持每 token 更新时序结构的同时匹配分块方法吞吐
📌 工作参考价值（3 点）
- 长序列用户行为建模：电商推荐中的用户长期历史、会话依赖往往超过常见上下文长度，E²-TTT 可作为替代或混合 attention 的序列建模模块，尤其在需要长度外推时，其 8× 训练长度外推能力可减少重新训练成本。
- Agent 长任务记忆：多步 Agent 需要持续从长 horizon 任务中学习，TTT 的权重更新机制比 KV cache 更紧凑，E²-TTT 的并行分块训练使在线学习用户偏好或任务适应在工程上更可行。
- 工程实现参考：论文中的闭式状态转移 + 分块并行训练思路，可迁移到任何需要高效时序递归更新的模块，避免简单 chunk-wise 近似丢弃中间状态，同时保持吞吐。
模块化测试时训练：将 TTT 重新思考为可组合模块
🧭 序列建模 · TTT 框架
Shanghai Jiao Tong University · Shanghai Innovation Institute · ByteDance Seed
提出模块化 TTT 框架，将内部学习器建模为有向无环图，系统消融组件并发现关键设计原则
📌 工作参考价值（4 点）
- 可尝试用 TTT 替代 Transformer 做用户行为序列建模，受益于其在线学习特性，可能更高效处理长序列。
- 模块化设计思想可借鉴到推荐系统的特征交互或模型组件，将学习率、损失函数等也作为可配置模块，便于消融和新设计。
- 消融结论直接可用：使用单层非线性快权重网络，避免深度网络和归一化，采用小学习率初始化与权重衰减，可减少实现踩坑。
- 业务中若需轻量、增量更新的序列模型，TTT 的 fast-weight 机制可能比 Transformer 更节省 inference 开销，适合实时推荐场景。
共识作为特权上下文实现无标签自蒸馏
🧭 无标签自蒸馏 · 共识锚定 ★ 深度解读
ILLC, University of Amsterdam · ILCC, University of Edinburgh
用多票共识充当特权上下文，将投票信号转化为逐token的密集监督，替代RL并接近带标签蒸馏
📌 工作参考价值（4 点）
- 在无标注的推理场景（如电商搜索对话/商品理由生成）中，可通过采样多个回复、多数投票提取共识答案，将对应的高置信回复作为教师上下文进行自蒸馏，实现无黄金答案的模型提升
- 采用JSD散度进行全词表分布蒸馏，比硬标签SFT保留更多信息，且能利用非共识rollout中的差异信号，适合处理模糊或长尾输出
- 冻结教师快照，避免共享参数训练时迅速崩塌的问题，是低成本稳定蒸馏的关键工程技巧
- 一次采样同时获得投票结果和蒸馏数据，训练仅一个epoch，在精度-计算量前沿上显著优于TTRL等RL方案，适合资源受限的线上业务快速迭代
自引导测试时训练：提升长上下文LLM推理的简单方法
🧭 长文本测试时自适应训练
Meta AI · University of Virginia
模型自适应前先自选相关证据片段，只在选中的片段上做测试时训练，长上下文推理最高提升15%
📌 工作参考价值（4 点）
- 在长上下文任务（如长用户行为序列建模、长文档问答）中，可借鉴自引导TTT：对每条测试样本，先用模型识别出与当前query/任务最相关的证据片段，仅在这些片段上进行语言模型微调，以低计算成本实现实例自适应。
- 工程上，S-TTT的稀疏训练只更新少量token，适合在线延迟敏感场景，例如搜索query改写、个性化推荐理由生成时的实时自适应。
- 借鉴“自选择证据”思想，在构建Agent的记忆或RAG模块时，可设计一个轻量级证据选择器，从长上下文历史中检索关键信息，再对此进行微调或提示增强，有效过滤噪声。
- 该方法无需额外标注，利用模型自身输出作为监督信号，可在电商评论聚合、广告文案生成等长文本应用中以无监督方式提升证据利用率。
SIA：通过支架与权重联合更新的自改进AI
🧭 Agent 自改进与测试时训练 ★ 深度解读
Hexo Labs · University of Oxford
提出反馈智能体同时更新任务智能体的支架（提示、工具）和模型权重（LoRA）的联合自改进循环，在三个领域全面超越纯支架迭代
📌 工作参考价值（4 点）
- 1. 在Agent开发中可引入「反馈智能体」动态选择改进动作：当纯提示/工具优化（支架更新）收益停滞时，自动触发模型权重微调（RL训练），实现支架与模型权重的协同进化。
- 2. 对商品分类、法律条款匹配等细粒度分类场景，可直接套用「支架迭代到权重更新」的模式：先用支架优化解析、重排逻辑，再用GRPO按组优势进行LoRA微调，可显著提升准确率（如从50%到70%）。
- 3. 针对GPU算子优化、超参调优等探索性任务，可借鉴「支架探索+权重内化」思路：支架负责搜索空间构建和编译/运行反馈解析，权重通过强化学习内化领域设计模式，获得超越人工调参的性能。
- 4. 工程上，反馈智能体根据奖励密度自动选择训练算法（PPO/GRPO/entropic weighting/DPO等）的设计，可直接复用为动态训练策略选择器，降低RL训练调参成本。